Post-Training Frontier Text-to-Image Models by Composing Preference and Rubric Rewards
组合偏好与规则奖励的文本到图像后训练方法
🧭 T2I 后训练奖励组合
Arena Intelligence Inc · UCLA
提出组合偏好奖励与规则奖励的 T2I 后训练策略，Flux2dev Elo 提升 69 分，Ideogram-4 达 1223.5 超开源模型
📌 工作参考价值（4 点）
- 奖励组合策略可迁移到推荐/Agent 的 RL 后训练：避免多目标简单加权平均，借鉴其组合策略（如分阶段、约束优化或优先级调度），平衡用户偏好（点击、停留）与业务规则（合规、真实性），降低单一指标被 hack 的风险。
- 偏好 + 规则双奖励结构：在生成式推荐、query 改写或 Agent 输出中，可训练偏好奖励模型（基于大规模用户反馈）配合 rubric 奖励（显式检查忠实度、格式、安全），后者作为防 reward hacking 护栏。
- 小规模高质量奖励数据即可验证 RL 流程：论文公开的 1K 子集能恢复部分全量训练收益，说明业务上可以先构建小规模标注奖励集跑通后训练、快速迭代，再扩展数据和模型规模。
- 用 Elo / 在线评测追踪生成质量：参考 Arena 的 pairwise 偏好评估，在内部对 search suggestion、文案生成等场景建立 Elo 榜单，持续监控后训练收益与退化。